#Latency Optimization

4 篇

Getting a GRIP on Graph-Based Search for Learned Sparse Retrieval

从图搜索入手改进学习型稀疏检索

🧭 稀疏检索 · 图索引加速

MIT CSAIL · ISTI-CNR · Linkup · University of Pisa

提出 GRIP 图索引系统，将倒排启发式融入图搜索，在 MS MARCO v2 上比 Seismic 快 2.5 倍

📌 工作参考价值（4 点）

如果业务在用 SPLADE、BGE-M3 sparse 等做大规模召回，不要默认倒排索引最优；可以评估 GRIP 这类图索引在商品/广告库上的 recall-latency，尤其在线服务对 95% recall@10 敏感时。
三个 trick 可拆开迁移：term-based entry point seeding 可插到 HNSW 等通用图 ANN 的初始节点选择；sparse sketching 适合高维稀疏 embedding 的快速距离裁剪；sparse partition-based 构图可适配电商 SKU 或类目聚集的稀疏分布。
如果线上同时维护倒排和图索引，可以用倒排表的高权重 term 作为图入口点或构图先验，降低重构图成本；增量更新时优先围绕高分词、高曝光 item 重建局部图。
注意标准 dense ANN 直接套到 sparse vectors 效果差，迁移前要做小规模 benchmark，关注稀疏度、term 分布和维度差异。

RecSys | 2026-10-21 | cs.IR | score 6/10

心跳思考：实时语音代理边听边推测推理与工具执行

🧭 实时语音 Agent 推测工具执行

Ant International

提出 Heartbeat Thinking 机制，在用户说话期间周期性启动 Thinker 并允许已派发工具继续完成，将监听时间转化为可复用的准备，显著提升工具覆盖率并降低最终响应延迟。

📌 工作参考价值（4 点）

在实时语音电商客服/导购中，可在 ASR 部分结果上周期性（heartbeat）启动 LLM 推理，不打断已派发工具调用，利用用户说话时间提前完成订单查询、库存检查等工具调用，降低首响延迟。
借鉴“共享推理记录 + 工具结果”的设计，将不同心跳周期内已完成的子任务结果保存下来，后续心跳只需补齐缺失参数或发起依赖调用，避免重复计算，提升并发利用率。
将推测性工具覆盖率和检索复用率作为在线指标，而不仅是最终任务质量；在语音 Agent 工程中监控“说话期间已完成工具调用比例”，用于评估 anticipation 能力。
如果业务中有长尾复杂请求（如退换货、多条件商品咨询），可采用类似多 Thinker 并发机制，允许部分推理分支自然终止，而不是强杀，减少截断导致的重算。

Agent | 2026-10-18 | HF Daily | score 7/10

Target 零售商品搜索的实用混合检索方案

🧭 电商搜索 · 混合检索与结果融合

Target Corporation

Target 混合词法-向量检索，加权交错融合，线上 CTR/转化提升并零结果减半

📌 工作参考价值（4 点）

电商搜索/推荐候选生成不要用向量完全替代词法或协同信号：保留双通道，向量通道承接自然语言和长尾查询，词法/ID 通道保证精准意图与品牌/SKU 命中；同时把 zero-result 作为上线必须观测指标。
多路融合优先实验 weighted interleaving：相比简单分数归一化或串行合并，它能更稳地控制各通道曝光与排序多样性，本案例线上 CTR、订单转化和每访客需求均获得提升。
将精度控制作为最终结果集独立环节：对向量召回噪声做词法命中、规则或分类器过滤，再交给精排，尤其适合电商 SKU/品牌/规格等硬约束场景。
生产部署把 embedding 计算、ANN 索引、缓存和融合放关键路径优化，并对向量通道做降级与超时控制，保证低延迟；可复用到实时搜索和推荐召回。

RecSys | 2026-09-25 | cs.LG | score 7/10

面向延迟优化的 Web Agent 规划与调度的 Agent JIT 编译

🧭 Agent 规划调度优化 ★ 深度解读

Stanford University

通过 JIT 编译、不变式强制工具协议和代价优化规划/调度，将 Web Agent 延迟降低 10.4 倍且准确率提升 28%。

📌 工作参考价值（4 点）

工具协议的设计（pre/post conditions）：在电商自动化操作中，可以为每个动作（如添加购物车、结算）定义前置页面状态与后置预期状态，编译时即做状态流校验，大幅减少点击错误元素等失误（实验中该类错误从 59% 降至 25%）。
代价优化的规划策略：同时生成多个任务计划（代码形式），通过静态检查与代价模型（惩罚 LLM 调用和循环）选出最低成本计划。在电商场景可用来减少不必要的 LLM 推理，将大量纯代码操作替代昂贵模型调用。
自适应调度（串行/并行/对冲）：根据历史延迟分布做蒙特卡洛估计，为每个任务选择最优策略。当电商操作中某些元素交互方差大（如查找特定商品按钮）时自动采用对冲（同时多路执行取最早成功），可有效控制尾延迟。
缓存与工具代码复用：将成功执行 trace 合成为可缓存工具，后续任务直接调用代码而非每步推理，显著降低延迟并将 LLM 调用次数降至接近零。类似做法可直接用于重复性电商流程（如批量比价、多店铺信息抓取）。

Agent | 2026-05-20 | cs.LG | score 8/10